package com.yujiahao.bigdata.rdd.transform

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

/**
      TODO Filter 过滤算子
         1、filter算子可以将数据按照指定的规则进行筛选过滤
         2、满足条件（true）的数据保留，不满足条件(false)的数据丢弃
 */

object Spark_RDD_Pper_Transform_Fliter {
  def main(args: Array[String]): Unit = {


    //TODO 1、获得连接
    val conf: SparkConf = new SparkConf().setAppName("WordCount").setMaster("local")
    val sc: SparkContext = new SparkContext(conf)

    //TODO 3、业务逻辑--将下面集合偶数过滤掉
    val oldRdd = sc.makeRDD(List(1, 2, 3, 4))
    // 这里面有意思的一点是：你满足条件的话数据会被保留，不满足条件数据会被过滤
    val newrdd: RDD[Int] = oldRdd.filter(_%2==1)

    //打印遍历
    newrdd.collect().foreach(println)

    //TODO 2、关闭连接
    sc.stop()
  }
}